前面介紹了如何使用RGB做姿態估計,以及利用 triangulation得到3D點雲。由於沒有深度訊息,相機姿態需要考慮的投影問題,並且得到的3D點雲再沒有經過額外處理下非常稀疏(sparse),畢竟只有匹配的特徵點才可以算出3D點。
要如何改進呢?
當我們有了深度圖(已知相機拍攝範圍內的3D資訊),我們也可以用來估計相機姿態與重建出更完整的 3D 模型,也就是 mesh。
因此本系列最後的幾篇文,將會來介紹兩個利用深度圖的主流算法:
實作的部分也會圍繞 TUM RGB-D 數據集進行。由於目前較新的 iPhone 都有拍攝深度圖的功能(RGB-D 影片),因此,如果有機會,也可以來嘗試介紹使用第三方的 App,拍攝RGB-D 影片,並且搜集的資料拿來作為三維重建的材料。相信比起公開數據集,若是使用自己拍攝的資料,得到的結果更能使嘗試的讀者更有感覺。